Comment optimiser Texpress

1. Ouvrir une cession de lignes de commandes sur le serveur EMu et se connecter avec le nom d'utilisateur emu.
2. Taper client [client] pour accéder à l'environnement du client d'EMu.
3. Saisissez texlist -lbr

   Cela affichera une liste des tables avec leur nombre d'enregistrements et la proportion de l'espace alloué à chaque table utilisé.

   La liste est triée dans l’ordre décroissant de l’utilisation de l’espace disque :

   

   Si l'espace utilisé est proche ou supérieur à 100 %, l'espace alloué à la table doit être augmenté.

4. Noter le nombre d'enregistrements de la table qui doit être optimisée.

   Note: Les valeurs autour de 90 % sont acceptables. Pour trier les valeurs par ordre de pourcentage, saisissez texlist -lspr

1. Taper texadmin [nom de la table]

   Par exemple, taper texadmin eparties

2. Taper C pour visualiser la configuration des paramètres en cours d'utilisation.
3. Notez la taille allouée à la table.

   S’il est évident que la taille de la table doit être augmentée en fonction du nombre d’enregistrements actuels, augmentez la taille de la table. Texpress ajustera automatiquement le reste des paramètres en fonction de ce chiffre.

   Si vous changez la taille de la table ici, vous n'avez pas besoin de continuer avec les prochaines étapes d'optimisation. Cependant, vous devez réindexer la table avant que ces paramètres de configuration prennent effet.

   Note: Les paramètres configurés par Texpress peuvent ne pas être les paramètres optimaux. Pour calculer les paramètres optimaux, passez à l'étape 3.

Note: Retrouvez plus de détails sur texanalyse sous Outils de configuration.

Avant de lancer texanalyse, créer un répertoire dans lequel stocker les rapports de texanalyse.

1. Taper cd [nouveau répertoire]
2. Taper texanalyse [nom de la table] > [nom de la table].conf

   Par exemple, texanalyse eparties > eparties.conf

3. Pour visualiser le fichier texanalyse, taper vi [name of table].conf

   Par exemple, vi eparties.conf

   Cela affichera une analyse du nombre de mots indexés (atomes) dans chaque enregistrement :

    |   Atoms   |    Records    |

    +-----------+---------------+

    |    41     |     2   |

    |    42     |     1   |

    |    43     |    29    |

    |    44     |     3   |

    |    45     |   177    |

    |    46     |     9    |

    |    47     |    27    |

    |    48     |     5   |

    |    49     |     1    |

4. Se déplacer à la fin du fichier :

    Total number of records                   :          311

    Total number of indexed terms             :        14801

    Average number of indexed terms per record:           47.6

    Records <= average                     248 (79.7% <= 47.6)

    Records <= average + 1 * sqrt(average) 265 (85.2% <= 54.5)

    Records <= average + 2 * sqrt(average) 296 (95.2% <= 61.4)

    Records <= average + 3 * sqrt(average) 301 (96.8% <= 68.3)

    Records <= average + 4 * sqrt(average) 308 (99.0% <= 75.2)

    Records <= average + 5 * sqrt(average) 311 (100.0% <= 82.1)

5. Noter le nombre de termes indexés qui sont égaux à 100%. C'est la valeur i qui sera utilisée lors du lancement du fichier texconf dans l'étape 4.

   Note: L'utilisation d'une valeur i égale à 100% n'est peut être pas adaptée pour des systèmes importants. Il faut trouver un compromis entre le nombre d'enregistrements (100%) et la conservation d'un nombre de termes d'index bas. Un nombre important de termes d'index altère la performance de l'index, dans la plupart des cas une valeur autour de 98.5 – 99.5% fonctionne bien.

6. Sortir de vi.

Note: Retrouvez des détails sur texaconf sous Outils de configuration.

Le "tag length" est le nombre de bits qui sont marqués au niveau d'un enregistrement. Les bits de balise sont utilisés pour la recherche par plage.

Pour trouver le "tag length" de la table :

1. Taper texconf -d[name of table] 1

   Par exemple, texconf eparties

   Cela affichera quelque chose de la forme :

Capacity of database (in records)       :        24

Number of segments (Ns)                 :         8

Number of records per segment (Nr)      :         3

Words per segment descriptor            :       103

Words per record descriptor             :        82

Bits set per indexed term (segment)     :         2

Bits set per indexed term (record)      :         5

False match probability (segment)       :   .031250

[1 / (4.0 * Ns)]

False match probability (record)        :  0.000326

[1 / (1024.0 * Nr)]

Expected number of indexed terms        :        71

Record descriptor tag length (bits)     :       112

Segment size                            :      1024

Segment descriptor file size            :     3.22K

Record descriptor file size             :     8.00K

Percent of record descriptor file wasted:      2.73%

Total index overhead                    :     11.22K

Noter la valeur associée à Record descriptor tag length (bits). Cette valeur sera utilisée pour lancer le programme texconf dans l'étape 5.

Le programme texconf calcule les réglages pour le fonctionnement optimal de la table.

Note: Retrouvez des détails sur texaconf sous Outils de configuration.

Pour lancer le programme texconf :

1. Saisissez texconf -i[i] -t[numéro de balise] capacity

   Par exemple, texconf -i82 -t112 capacité

   où i est le nombre de termes d'indexation déterminé à partir de texanalyse et -t est la longueur de balise du descripteur d'enregistrement (bits) déterminée à l'étape 4. La capacité (capacity) est le nombre d'enregistrements que la table contiendra.

   Note: La capacité (capacity) pourra être dépassée mais cela se fera aux dépens de la performance.

emu-gallery@kestrel[22] texconf -i82 -t112 350 capacity

Capacity of database (in records)           :       352

Number of segments (Ns)                     :       176

Number of records per segment (Nr)          :         2

Words per segment descriptor                :       148

Words per record descriptor                 :       126

Bits set per indexed term (segment)         :         4

Bits set per indexed term (record)          :         5

2. Enregistrer ces valeurs.

Pour mettre à jour la configuration de la table avec les valeurs optimales calculées par le programme texconf :

1. Taper texadmin [name of table]

   Par exemple, texadmin eparties

2. Taper c pour visualiser les paramètres des tables.
3. Remplacez les paramètres par ceux calculés par le programme texconf à l'étape 5.

   Utilisez F5 pour avancer d'un champ, F6 pour reculer d'un champ et ENTRÉE pour valider un numéro.

   

4. Appuyez sur F4 pour sauvegarder les paramètres.

   Une invite s'affiche pour demander si les modifications nécessitent une reconstruction de la table.

5. Sélectionner Oui.

   Une invite s'affiche pour vous demander si vous souhaitez configurer l'index de la table prête à être reconstruite.

6. Sélectionner Oui.
7. Appuyer sur une touche pour conclure les changements de configuration.
8. Appuyer sur F1 pour sortir de texadmin.

Cette étape facultative permet de définir des variables de configuration pour chaque table, pour que les paramètres ne soient pas perdus lors de la prochaine reconfiguration.

Conseil : Pour bien comprendre cette étape, vous devrez peut-être revoir Optimiser et configurer le moteur de base de données Texpress, qui décrit en détail comment obtenir une indexation optimale des tables Texpress.

Comme décrit dans Optimiser et configurer le moteur de base de données Texpress (et à l'aide des outils de configuration : texanalyse, texdensity et texconf), il est possible d'obtenir des index optimaux en termes de vitesse et de taille. Cela sera inutile si la prochaine reconfiguration de la table perd tous les paramètres. Heureusement, Texpress fournit un fichier de base de données dans lequel vous pouvez stocker les paramètres de configuration. Les paramètres trouvés dans ce fichier remplacent les valeurs par défaut utilisées par Texpress.

Le fichier dans lequel les paramètres de configuration peuvent être stockés est appelé params. Il s'agit d'un fichier facultatif. Le contenu du fichier est en XML et intègre les variables de configuration à remplacer. Une liste complète du fichier est (avec les valeurs par défaut définies) :

<params>

<configuration>

<blocksize>4096</blocksize>

<record>

<atoms></atoms>

<density>25</density>

<falsematch>1024</falsematch>

<variance>3.0</variance>

<scan></scan>

</record>

<segment>

<atoms></atoms>

<density>25</density>

<falsematch>4</falsematch>

<variance>2.0</variance>

<scan></scan>

<minimum>10</minimum>

</segment>

</configuration>

</params>

Le tableau ci-dessous explique l'utilisation de chaque balise :

Marque	Description
blocksize	La taille de bloc sous-jacente utilisée par le système de fichiers de stockage de la table Texpress.
atoms	Le nombre d'atomes par enregistrement (i).
density	La densité de bits à utiliser. Valeur comprise entre 1 et 99 (d).
falsematch	Probabilité de fausse correspondance (f).
variance	Nombre d'écarts types à ajouter à la moyenne (v).
scan	Nombre d'enregistrements à utiliser pour calculer les atomes.
minimum	Nombre minimum d’enregistrements par segment.

Pour modifier le nombre d'atomes par enregistrement au niveau du segment afin d'utiliser 33, le fichier params suivant pourrait être utilisé :

<params>

<configuration>

<segment>

<atoms>33</atoms>

</segment>

</configuration>

</params>

Les valeurs définies dans le fichier params sont également utilisées par texconf. Ainsi, l'exécution de texconf utilisera 33 pour le nombre d'atomes par enregistrement pour le descripteur de segment. Vous pouvez utiliser les options texconf pour remplacer la valeur du fichier params (texconf -is40 elocations utilisera une valeur de 40 pour le nombre d'atomes lors du calcul de la longueur du descripteur de segment).

Dans la plupart des cas, les valeurs générées par la nouvelle configuration fourniront des indices quasi optimaux. Dans de rares cas, il peut être nécessaire d'ajuster les paramètres de configuration pour économiser de l'espace disque (en particulier au niveau des segments). Si un réglage est nécessaire, il est préférable de modifier la valeur variance plutôt que de spécifier le nombre d'atomes à utiliser. En effet, au fur et à mesure que la base de données se développe, le nombre moyen d'atomes par enregistrement varie. Si un écart est spécifié, la valeur de atoms peut varier avec lui. Ainsi, si nous prenons le cas de la table elocations qui avait un nombre moyen d'atomes de 64,7 et un écart-type de 9,1, nous pouvons fixer l’écart à -3,5 (oui, vous pouvez utiliser des écarts négatifs) pour obtenir un nombre de termes indexés de 32. Dans ce cas, le fichier params suivant pourrait être utilisé :

<params>

<configuration>

<segment>

<variance>-3.5</variance>

</segment>

</configuration>

</params>